Очень часто использование в разработке готовых инструментов становится неоптимальным решением. Так получилось и у нас. Для управления пайплайнами данных мы решили разработать собственную систему – Wombat. Рассказываем, что из этого получилось, и что нам дал отказ от использования готового решения.

Почему мы разрабатываем собственную систему

Делать собственную систему управления пайплайнами данных – выбор неочевидный. Сегодня есть множество готовых решений, которые могут решить проблему: Airflow, MLflow, Kubeflow, Luigi и куча других. Мы экспериментировали со многими подобными системами и пришли к выводу, что ни одна из них нас не устраивает.

Для примера рассмотрим самое распространенное решение – Airflow. Оно объединяет шесть основных блоков: API для описания пайплайнов, сборщик woкflow, панель управления и интерфейсы,